最近的工作引入了该日期，作为深度学习中不确定性建模的一种新方法。Epatet是一个添加到传统神经网络中的小神经网络，它可以共同产生预测分布。尤其是，使用音调可以大大提高多个输入的联合预测的质量，这是神经网络了解其不知道的程度的衡量标准。在本文中，我们检查了在分配变化下是否可以提供类似的优势。我们发现，在ImageNet-A/O/C中，谐调通常可以改善稳健性指标。此外，这些改进比非常大的合奏所提供的改进更为重要，即计算成本较低的数量级。但是，与分配稳定深度学习的杰出问题相比，这些改进相对较小。播集可能是工具箱中的有用工具，但它们远非完整的解决方案。

在机器学习中，代理需要估计不确定性，以有效地探索和适应并做出有效的决策。不确定性估计的一种常见方法维护了模型的合奏。近年来，已经提出了几种用于培训合奏的方法，并且在这些方法的各种成分的重要性方面占上风。在本文中，我们旨在解决已受到质疑的两种成分的好处 - 先前的功能和引导。我们表明，先前的功能可以显着改善整体代理在输入之间的关节预测，如果信噪比在输入之间有所不同，则引导程序为其他好处提供了额外的好处。我们的主张是通过理论和实验结果证明的。

情报依赖于代理商对其不知道的知识。可以根据多个输入的标签的联合预测质量来评估此能力。传统的神经网络缺乏这种能力，并且由于大多数研究都集中在边际预测上，因此这种缺点在很大程度上被忽略了。我们将认知神经网络（ENN）作为模型的界面，代表产生有用的关节预测所需的不确定性。虽然先前的不确定性建模方法（例如贝叶斯神经网络）可以表示为ENN，但这种新界面促进了联合预测和新型体系结构和算法的设计的比较。特别是，我们介绍了Epinet：一种可以补充任何常规神经网络（包括大型模型）的体系结构，并且可以通过适度的增量计算进行培训以估计不确定性。有了Epact，传统的神经网络的表现优于非常大的合奏，包括数百个或更多的颗粒，计算的数量级较低。我们在合成数据，成像网和一些强化学习任务中证明了这种功效。作为这项工作的一部分，我们开放源实验代码。

This paper deals with the problem of statistical and system heterogeneity in a cross-silo Federated Learning (FL) framework where there exist a limited number of Consumer Internet of Things (CIoT) devices in a smart building. We propose a novel Graph Signal Processing (GSP)-inspired aggregation rule based on graph filtering dubbed ``G-Fedfilt''. The proposed aggregator enables a structured flow of information based on the graph's topology. This behavior allows capturing the interconnection of CIoT devices and training domain-specific models. The embedded graph filter is equipped with a tunable parameter which enables a continuous trade-off between domain-agnostic and domain-specific FL. In the case of domain-agnostic, it forces G-Fedfilt to act similar to the conventional Federated Averaging (FedAvg) aggregation rule. The proposed G-Fedfilt also enables an intrinsic smooth clustering based on the graph connectivity without explicitly specified which further boosts the personalization of the models in the framework. In addition, the proposed scheme enjoys a communication-efficient time-scheduling to alleviate the system heterogeneity. This is accomplished by adaptively adjusting the amount of training data samples and sparsity of the models' gradients to reduce communication desynchronization and latency. Simulation results show that the proposed G-Fedfilt achieves up to $3.99\% $ better classification accuracy than the conventional FedAvg when concerning model personalization on the statistically heterogeneous local datasets, while it is capable of yielding up to $2.41\%$ higher accuracy than FedAvg in the case of testing the generalization of the models.

In this work, we propose a communication-efficient two-layer federated learning algorithm for distributed setups including a core server and multiple edge servers with clusters of devices. Assuming different learning tasks, clusters with a same task collaborate. To implement the algorithm over wireless links, we propose a scalable clustered over-the-air aggregation scheme for the uplink with a bandwidth-limited broadcast scheme for the downlink that requires only two single resource blocks for each algorithm iteration, independent of the number of edge servers and devices. This setup is faced with interference of devices in the uplink and interference of edge servers in the downlink that are to be modeled rigorously. We first develop a spatial model for the setup by modeling devices as a Poisson cluster process over the edge servers and quantify uplink and downlink error terms due to the interference. Accordingly, we present a comprehensive mathematical approach to derive the convergence bound for the proposed algorithm including any number of collaborating clusters in the setup and provide important special cases and design remarks. Finally, we show that despite the interference in the proposed uplink and downlink schemes, the proposed algorithm achieves high learning accuracy for a variety of parameters.

基于各种非负矩阵分解（NMF）方法为成本函数添加了新术语，以使模型适应特定任务，例如聚类或保留减少空间中的某些结构属性（例如，局部不变性）。附加的术语主要由高参数加权，以控制整体公式的平衡，以指导优化过程实现目标。结果是一种参数化的NMF方法。但是，NMF方法采用了无监督的方法来估计分解矩阵。因此，不能保证使用新的特征执行预测（例如分类）的能力。这项工作的目的是设计一个进化框架，以学习参数化NMF的超参数，并以监督的方式估算分解矩阵，以更适合分类问题。此外，我们声称，将基于NMF的算法分别应用于不同的类对，而不是将其应用于整个数据集，从而提高了矩阵分解过程的有效性。这导致训练具有不同平衡参数值的多个参数化的NMF算法。采用了交叉验证组合学习框架，并使用遗传算法来识别最佳参数值集。我们对真实和合成数据集进行的实验证明了所提出的方法的有效性。

在自然界中，动物的集体行为（例如飞鸟）由同一物种的个体之间的相互作用主导。但是，对鸟类物种中这种行为的研究是一个复杂的过程，即人类无法使用常规的视觉观察技术（例如自然界的焦点采样）进行。对于鸟类等社会动物，群体形成的机制可以帮助生态学家了解社交线索及其视觉特征随着时间的流逝（例如姿势和形状）之间的关系。但是，恢复飞行鸟类的不同姿势和形状是一个极具挑战性的问题。解决此瓶颈的一种广泛的解决方案是将姿势和形状从2D图像提取到3D对应关系。 3D视觉的最新进展导致了关于3D形状和姿势估计的许多令人印象深刻的作品，每项作品都有不同的利弊。据我们所知，这项工作是首次尝试概述基于单眼视觉的3D鸟重建的最新进展，使计算机视觉和生物学研究人员概述了现有方法，并比较其特征。

Waterbodies和附近相关对象的基于视觉的语义分割提供了管理水资源和处理洪水紧急情况的重要信息。然而，缺乏用于水相关类别的大规模标记培训和测试数据集可防止研究人员在计算机视野中研究水有关的问题。为了解决这个问题，我们呈现亚特兰蒂斯，一个新的水平和相关对象的语义分割的新基准。亚特兰蒂斯由5,195张Waterbodies图像组成，以及56级物体的高质量像素级手动注释，其中包括17级人为物体，18级自然对象和21个一般课程。我们详细介绍了亚特兰蒂斯，并在我们的基准上评估了几种最先进的语义分段网络。此外，通过在两个不同的路径中加工水生和非水生植物来制定新的深度神经网络水平，用于水体语义分割。 Aquanet还包含低级功能调制和交叉路径调制，可增强特征表示。实验结果表明，拟议的Aquanet优于亚特兰蒂斯的其他最先进的语义细分网络。我们声称，亚特兰蒂斯是最大的水体图像数据集，用于语义分割，提供各种水和水有关的类，它将有利于计算机视觉和水资源工程的研究人员。

背景和目的：髋臼版本，总髋关节置换术的必要因素，通过CT扫描作为金标准测量。 CT的辐射剂量和耗材使前后骨盆射线照相适当的替代程序。在这项研究中，我们在前后骨盆X射线上应用了深度学习方法来测量解剖学版本，消除了使用计算机断层扫描的必要性。方法：使用CT图像计算300名患者臀部的右侧和左侧髋臼版角。所提出的深度学习模型，对骨骼时代的预用-VGG16的注意力应用于包括群体的AP图像。这些人的年龄和性别被添加到最后一个完全连接的注意机制层的其他投入。作为输出，预测两个臀部的角度。结果：随着人们更老的，在CT上增加了CT的髋骨角度，男性的平均值为16.54和16.11（右侧和左角度）。使用所提出的深度学习方法估计右侧角度估计的预测错误位于精确的误差区域（<= 3度），显示了所提出的方法在基于AP图像测量解剖学版本的能力。结论：建议算法，在患者骨盆的AP图像上应用预训练的VGG16，其次是考虑年龄和患者性别的注意力模型，可以仅使用AP射线照片准确评估版本，同时避免CT扫描的需要。基于AP盆景的解剖学髋臼版本的应用技术，使用DL方法，迄今为止尚未发布。

深度神经网络（DNN）已经在许多领域实现了最先进的性能。然而，DNN需要高计算时间，并且人们始终期望在较低的计算中进行更好的性能。因此，我们研究人类躯体传感系统并设计神经网络（SPINANNET），以实现更高的计算准确性，计算较少。传统NNS中的隐藏层接收前一层中的输入，应用激活函数，然后将结果传送到下一个图层。在拟议的脊柱植物中，每层分为三个分裂：1）输入分割，2）中间分割，3）输出分割。每个层的输入拆分接收到输入的一部分。每个层的中间分割接收先前层的中间分离的输出和电流层的输入分割的输出。输入权重的数量明显低于传统的DNN。 SPINANNET还可以用作DNN的完全连接或分类层，并支持传统的学习和转移学习。我们在大多数DNN中观察到具有较低计算成本的显着误差。 VGG-5网络上的传统学习具有SPINALNET分类层，为QMNIST，Kuzushiji-Mnist，EMNIST（字母，数字和平衡）数据集提供了最先进的（SOTA）性能。传统学习与Imagenet预训练的初始重量和Spinalnet分类层提供了STL-10，水果360，Bird225和CALTECH-101数据集的SOTA性能。拟议的SPINANNET的脚本可按以下链接提供：https://github.com/dipuk0506/spinalnet